PolyU COMP5511
แนวคิดปัญญาประดิษฐ์
การจำลองลำดับและโมเดลทรานสฟอร์เมอร์
วัตถุประสงค์การเรียนรู้
- เปรียบเทียบสถาปัตยกรรม: แยกแยะความแตกต่างระหว่างโมเดล RNN, LSTMs และสถาปัตยกรรมทรานสฟอร์เมอร์
- กลไกการจดจ่อแบบตนเอง (Self-Attention): อธิบายบทความเรื่อง 'การจดจ่อคือสิ่งที่คุณต้องการทั้งหมด' และกลไกการจดจ่อแบบตนเอง
- เอนโคเดอร์และดีโคเดอร์: เข้าใจบทบาทของเอนโคเดอร์และดีโคเดอร์ในโมเดลต่างๆ เช่น BERT และ GPT